我们研究了基于动量的一阶优化算法，其中迭代利用了前两个步骤中的信息，并受到加性白噪声的影响。这类算法包括重型球和Nesterov作为特殊情况的加速方法。对于强烈凸出的二次问题，我们在优化变量中使用误差的稳态差异来量化噪声放大并利用新颖的几何观点，以在沉降时间和最小/最大的可实现的噪声扩增之间建立分析性下限。对于所有稳定参数，这些边界与条件编号双重规模。我们还使用本文中开发的几何见解来引入两个参数化的算法族，这些算法族在噪声放大和沉降时间之间取得平衡，同时保留订单的帕累托最佳性。最后，对于一类连续的时梯度流动动力学（其合适的离散化都会产生两步动量算法），我们建立了类似的下限，同时也随条件数的数字四次扩展。
translated by 谷歌翻译
我们研究了私人（DP）随机优化（SO），其中包含非Lipschitz连续的离群值和损失函数的数据。迄今为止，DP上的绝大多数工作，因此假设损失是Lipschitz（即随机梯度均匀边界），并且它们的误差界限与损失的Lipschitz参数。尽管此假设很方便，但通常是不现实的：在需要隐私的许多实际问题中，数据可能包含异常值或无限制，导致某些随机梯度具有较大的规范。在这种情况下，Lipschitz参数可能过于较大，从而导致空虚的多余风险范围。因此，在最近的工作[WXDX20，KLZ22]上，我们做出了较弱的假设，即随机梯度已经限制了$ k $ - them-th Moments for Boy $ k \ geq 2 $。与DP Lipschitz上的作品相比，我们的多余风险量表与$ k $ 3的时刻限制，而不是损失的Lipschitz参数，从而在存在异常值的情况下允许速度明显更快。对于凸面和强烈凸出损失函数，我们提供了第一个渐近最佳的过量风险范围（最多可对数因素）。此外，与先前的作品[WXDX20，KLZ22]相反，我们的边界不需要损失函数是可区分的/平滑的。我们还设计了一种加速算法，该算法在线性时间内运行并提高了（与先前的工作相比），并且几乎最佳的过量风险因平滑损失而产生。此外，我们的工作是第一个解决非convex non-lipschitz损失功能的工作，以满足近端不平等现象。这涵盖了一些类别的神经网，以及其他实用模型。我们的近端PL算法几乎具有最佳的多余风险，几乎与强凸的下限相匹配。最后，我们提供了算法的洗牌DP变化，这些变化不需要受信任的策展人（例如，用于分布式学习）。
translated by 谷歌翻译
随着深度学习（DL）功效的增长，对模型差解释性的关注也会增长。归因方法通过量化输入功能对模型预测的重要性来解决解释性问题。在各种方法中，综合梯度（IG）通过声称其他方法无法满足理想的公理，而IG和类似的方法则独特地满足了公理。本文评论了IG及其应用/扩展的基本方面：1）我们确定IG函数空间与支持文献的功能空间之间的关键差异，这些空间使IG唯一性的先前主张问题成为问题。我们表明，通过引入附加的公理，\ textit {nontecreasing postitivity}，可以建立唯一性主张。 2）我们通过识别Ig是/不是属性输入中IG不是Lipschitz的函数类来解决输入灵敏度的问题。 3）我们表明，单基线方法的公理具有具有概率分布基线的方法的类似特性。 4）我们引入了一种计算有效的方法，用于识别有助于IG归因图的指定区域的内部神经元。最后，我们提出了验证此方法的实验结果。
translated by 谷歌翻译
本文研究了缺乏值得信赖的服务器/客户的联邦学习（FL）的问题。在此设置中，每个客户端都需要确保其自身数据的隐私，而无需依赖服务器或其他客户端。我们研究了本地差异隐私（LDP）并提供紧密的上限和下限，可以为LDP凸起/强凸的联合随机优化建立最小的最佳速率（最多ogarithms）。我们的利率与某些实际参数制度（免费私隐）相匹配最佳统计率）。其次，我们开发了一种新型时变嘈杂的SGD算法，导致与非I.I.D的第一个非普通LDP风险限制。客户。第三，我们考虑每个客户端损失功能的特殊情况，其中每个客户端的损失函数是与现有工程相比改善通信复杂性的加速的LDP流。我们还提供匹配的下限，建立凸/强凸设置算法的最优性。第四，使用安全的Shuffler匿名客户报告（但没有可信服务器），我们的算法达到了随机凸/强凸优化的最佳中央DP速率，从而同时在局部和中心模型中实现最优性。我们的上限量量化了网络通信可靠性在性能中的作用。
translated by 谷歌翻译
尽管大规模的经验风险最小化（ERM）在各种机器学习任务中取得了高精度，但公平的ERM受到公平限制与随机优化的不兼容的阻碍。我们考虑具有离散敏感属性以及可能需要随机求解器的可能性大型模型和数据集的公平分类问题。现有的内部处理公平算法在大规模设置中要么是不切实际的，因为它们需要在每次迭代时进行大量数据，要么不保证它们会收敛。在本文中，我们开发了第一个具有保证收敛性的随机内处理公平算法。对于人口统计学，均衡的赔率和公平的机会均等的概念，我们提供了算法的略有变化，称为Fermi，并证明这些变化中的每一个都以任何批次大小收敛于随机优化。从经验上讲，我们表明Fermi适合具有多个（非二进制）敏感属性和非二进制目标的随机求解器，即使Minibatch大小也很小，也可以很好地表现。广泛的实验表明，与最先进的基准相比，FERMI实现了所有经过测试的设置之间的公平违规和测试准确性之间最有利的权衡，该基准是人口统计学奇偶校验，均衡的赔率，均等机会，均等机会。这些好处在小批量的大小和非二元分类具有大量敏感属性的情况下尤其重要，这使得费米成为大规模问题的实用公平算法。
translated by 谷歌翻译
Efficient localization plays a vital role in many modern applications of Unmanned Ground Vehicles (UGV) and Unmanned aerial vehicles (UAVs), which would contribute to improved control, safety, power economy, etc. The ubiquitous 5G NR (New Radio) cellular network will provide new opportunities for enhancing localization of UAVs and UGVs. In this paper, we review the radio frequency (RF) based approaches for localization. We review the RF features that can be utilized for localization and investigate the current methods suitable for Unmanned vehicles under two general categories: range-based and fingerprinting. The existing state-of-the-art literature on RF-based localization for both UAVs and UGVs is examined, and the envisioned 5G NR for localization enhancement, and the future research direction are explored.
translated by 谷歌翻译
将异常检测外包给第三方可以允许数据所有者克服资源限制（例如，在轻量级的IoT设备中），促进协作分析（例如，分布式或多方场景下的分布式或多方场景），并受益于较低的成本和专业知识（例如托管安全服务提供商）。尽管有这样的好处，但数据所有者可能会不愿外包异常检测而没有足够的隐私保护。为此，大多数现有的隐私解决方案将面临新的挑战，即保留隐私通常需要消除或减少数据条目之间的差异，而异常检测严重取决于该差异。最近，在本地分析设置下，通过将差异隐私（DP）保证的重点从“全部”到“良性”条目移动，这一冲突是在本地分析设置下解决的。在本文中，我们观察到这种方法不直接适用于外包设置，因为数据所有者在外包之前不知道哪些条目是“良性”的，因此无法选择地将DP应用于数据条目。因此，我们提出了一种新型的迭代解决方案，使数据所有者逐渐“脱离”良性条目的异常条目，以便第三方分析师可以通过足够的DP保证产生准确的异常结果。我们设计并实施了我们对异常检测（DPOAD）框架的差异私人外包，并通过从不同应用域中的真实数据进行实验，证明了其比基线拉普拉斯和无止痛机制的好处。
translated by 谷歌翻译
联邦学习（FL）已成为解决消费者隐私需求的有效方法。 FL已成功应用于某些机器学习任务，例如训练智能键盘模型和关键字发现。尽管FL最初取得了成功，但许多重要的深度学习用例（例如排名和推荐任务）受到了设备学习的限制。实际采用基于DL的排名和建议所面临的主要挑战之一是现代移动系统无法满足的高度资源要求。我们建议联合合奏学习（FEL）作为解决深度学习排名和推荐任务的庞大记忆要求的解决方案。 FEL通过同时在客户端设备的分离群中训练多个模型版本，从而实现大规模排名和建议模型培训。 FEL通过拱门层将受过训练的子模型集成到服务器上托管的集合模型中。我们的实验表明，与传统的联合学习设备相比，FEL导致0.43-2.31％的模型质量改进 - 对排名和建议系统用例的重大改进。
translated by 谷歌翻译